#Expert Parallelism

3 篇

Flattening Every Memory Peak in Long-Context Mixture-of-Experts Training

抹平长上下文 MoE 训练的所有显存峰值

🧭 长上下文 MoE 训练显存优化

Salesforce AI Research

针对长上下文 MoE 训练四大显存瓶颈提出四种精确调度，将 120B-667B 模型训练扩展到 1M 上下文，吞吐最高提升 10.4 倍

📌 工作参考价值（4 点）

若在业务中训练长上下文 MoE（如融合用户长期行为序列、Agent 记忆的推荐/广告模型），优先采用固定 GPU working set 的调度思路，而不是只看平均显存；PipelinedLLEP 与 Ring-DTP 都能在不改精度下显著压峰值。
OffloadStreamAdamW 将 CPU optimizer offload 的串行 Adam 改为 bucket 流水线，能直接加速大规模 embedding/排序模型训练中的 offload 更新；若你已用 CPU offload 放优化器状态，可参照其分桶流水实现。
SCO 只把 checkpoint 边界最占显存的长生命周期张量 offload 到 CPU，适合处理用户长序列的生成式推荐/Agent 轨迹训练，能在基本不增加复杂度的前提下扩大 context 长度。
这些方法只改变执行顺序和搬运粒度，梯度与 loss 严格一致，便于在 FSDP/Megatron 等框架上增量实现，风险低。

Training | 2026-09-12 | HF Daily | score 6/10

训练通信高效 Mixture-of-Experts 语言模型的层重配置方法

🧭 通信高效 MoE 架构训练优化 ★ 深度解读

NVIDIA

减少 MoE 层数并用 Mamba-2 和密集 FFN 补深度，在匹配参数下降低专家并行通信和训练 GPU 小时 30-35%

📌 工作参考价值（4 点）

如果业务里用 MoE LLM 做召回/粗排/reranker 或生成式推荐，可尝试把 MoE 层从每个 token-mixing 后都放一个改为稀疏放置，例如 52 层 hybrid 模型只保留 8 个 MoE 层，其余用 Mamba-2 和 dense FFN 补深度，理论上 all-to-all 调用从 23q 降到 8q，实际训练 GPU 小时省 30% 以上。
层排序不要随机，采用 phased-greedy：先把 attention 和 channel-mixing 块按虚拟块分配到 Mamba spine，避免连续 channel-mixing，attention 放在 token-mixing 尾部；实验中比 21 个受约束随机排序的验证损失低约 1.8σ。
连续堆叠 softmax attention 容易 rank collapse 导致训练发散；如果用 token-mixing-heavy 架构，优先用 Mamba-2/线性注意力作为主干，比 softmax attention 稳定得多。
评估架构改动要直接看 GPU-hours 而非理论 FLOPs/参数量；本文的模型形状搜索用 L_E*K 作为通信代价代理，在参数匹配候选中选该值最小者，可复用到自己的搜索流程。

Training | 2026-08-28 | cs.AI | score 8/10

Tevatron集成Megatron：学术预算下的专家并行LLM重排序训练

🧭 LLM重排序 · 专家并行高效训练 ★ 深度解读

University of Utah · University of Waterloo · The University of Queensland · Carnegie Mellon University · University of Virginia

为Tevatron重排序工具包引入Megatron训练后端，通过专家并行实现30B MoE重排序器训练，同时保持HF兼容。

📌 工作参考价值（4 点）

在资源受限下训练大规模MoE重排序模型：利用Megatron的专家并行（EP）将MoE层的专家分布到多个GPU，仅激活少量专家，可在两台8×H200节点上训练Qwen3-30B-A3B（30B总参，激活约3B），突破PyTorch FSDP1不支持EP的限制。
加速训练并保持部署兼容性：Megatron后端在推荐配置（TP=2/DP=4）下比FSDP1全分片快约22%，且训练产出可直接加载为Hugging Face checkpoint，无缝接入vLLM等推理引擎，部署零转换成本。
LoRA适配MoE时注意目标模块划分：使用命名目标组注册表（如指定moe_experts、moe_shared，冻结router），避免盲目适配全部128个专家FFN或遗漏关键层，这是LoRA在MoE重排序中不严重掉点的关键工程trick。
蒸馏训练可离线标注教师分数：将教师分数预计算存入数据集，训练时无需加载教师模型，节省显存和计算量；蒸馏与对比学习在不同数据集上各有优势，可根据业务场景灵活选择，并在重排序任务中简化训练管线。

RecSys | 2026-08-02 | cs.LG | score 8/10